Dalam menerangkan lewahan data mentah, kadar suatu sumber maklumat ialah entropi purata setiap simbol. Untuk sumber tanpa ingatan, ini hanyalah entropi bagi setiap simbol, manakala, dalam kebanyakan kes umum bagi suatu proses stokastik, ia adalah:

r = lim n → ∞ 1 n H ( M 1 , M 2 , … M n ) , {\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}H(M_{1},M_{2},\dots M_{n}),}

had, apabila n pergi ke ketakterhinggaan, bagi entropi tercantum bagi simbol-simbol n pertama dibahagikan dengan n. Ia adalah biasa dalam teori maklumat untuk membincangkan "kadar" atau "entropi" bagi suatu bahasa. Ini adalah sesuai, contohnya, apabila sumber maklumat merupakan prosa bahasa Inggeris. Kadar sumber tanpa ingatan hanyalah H ( M ) {\displaystyle H(M)} , kerana dengan takrifan, tiada kesalingbergantungan mesej-mesej berturutan bagi suatu sumber tanpa ingatan.